DisaggKD：通过师生分离与融合损失实现高效知识蒸馏
🧭 知识蒸馏训练效率优化
The University of Tokyo · RIKEN AIP · SB Intuitions Corp.
提出教师-学生分离的KD框架，通过fused loss和prefetch ring突破显存限制，匹配同布局损失并提速
📌 工作参考价值（4 点）
- 在资源受限下做LLM蒸馏（例如蒸馏通用大模型到电商领域小模型用于query理解或排序），采用教师-学生分离部署，教师只前向，学生负责训练，避免同一GPU同时存放两套权重和优化器状态。
- 实现KD loss时，若词表过大，不必显式构造完整logits张量，可通过行窗口和词表分片（vocabulary shards）的融合kernel精确计算loss，既省显存又保持数值一致，适合大词表场景（如搜索词预测、文案生成）。
- 在跨节点流水线并行训练中引入prefetch ring协调生产者和训练者，可掩盖通信延迟，提高吞吐，对需要跨节点数据转移的架构有借鉴意义。
- 使用闭式内存和流量模型提前判断不同布局（colocated vs 分离）的可行性，避免OOM，可在设计训练方案时快速评估，节省试错成本。
SOLO：基于扫描采样倒排列表的可认证召回相似性搜索
🧭 向量检索 · 可认证召回 ANN 索引
CICESE
SOLO 索引以无排序启发式的扫描倒排列表实现可证明召回，在 1GB 内存下 Deep-100M 召回 0.9977
📌 工作参考价值（4 点）
- 大规模向量召回的内存优化：在商品 embedding 库亿级甚至十亿级时，SOLO 的扫描式倒排索引只需少量字节/对象（如 10.7 字节）即可达到 0.9977 召回，远低于 HNSW/DiskANN 的内存下限；适合作为电商推荐召回的高性价比底座，尤其在内存受限的在线服务或边缘部署中。
- 可认证召回特性：SOLO 召回等于覆盖概率，可通过一次查询样本的 ground-truth pass 离线算出所有操作点，无需在线反复 A/B；可将召回 SLA 直接与索引参数绑定，降低质量风险。
- 动态更新友好：插入等于一次搜索、删除精确，相比 HNSW 的复杂删除和图维护，更适合商品频繁上下架、embedding 定期更新的场景；可简化索引运维。
- 结构可扩展：路由与扫描分离、叶节点扫描的设计便于与压缩/量化 embedding 结合，进一步节省内存；且路由器可递归索引，适合构建分层/多级召回。
面向 LLM 的高效知识蒸馏：离线 Top-K logit 缓存与融合分块 KL 损失
🧭 训练效率 · 知识蒸馏 · 长上下文 ★ 深度解读
Multiverse Computing
通过缓存教师 Top-K logits 和融合分块 KL 损失，实现单 GPU 上长上下文蒸馏训练，匹配在线质量且内存线性增长。
📌 工作参考价值（4 点）
- 离线蒸馏策略：预教师 Top-K logit 一次缓存后重复用于多轮消融实验，大幅降低资源占用，适合需频繁蒸馏的推荐模型迭代。
- 长上下文训练解锁：融合分块 KL 损失让峰值内存与序列长度成线性关系，可在单卡 H200 上训练 32K 上下文，用于处理电商搜索中长用户行为序列的场景。
- 损失设计经验：logit KL 损失是知识迁移的必需品，追加隐藏状态特征损失（MSE 或余弦）可稳定提升约 1% MMLU。
- 打包训练简化：蒸馏时用朴素的全 1 注意力掩码做序列打包，仅牺牲约 1 个 MMLU 点，工程实现简单且效率高。
扩展超连接：突破流数瓶颈实现高效大模型预训练
🧭 LLM架构优化 · 残差流扩展
School of AI, Shanghai Jiao Tong University · Dots Studio, Xiaohongshu Inc. · University of Science and Technology of China · School of CS, Peking University · The Chinese University of Hong Kong
通过时间特征增强和稀疏残差流（仅更新k=4/N=16）突破HC的N=4瓶颈，在MoE模型上大幅提升性能并降低计算开销
📌 工作参考价值（4 点）
- 稀疏更新策略：xHC 每层只更新 k=4 条流但读取全部流，类似推荐系统中大规模 Embedding 表或状态存储可采用“稠密读取-稀疏更新”模式，仅刷新部分高频/重要行，降低训练更新开销。
- 多流残差结构：多条并行残差流可视为不同变换路径的集成，该思想可迁移到推荐模型的多模态、多任务学习，用不同流编码用户、商品、上下文等异构特征，再通过可学习的混合机制融合。
- 内存带宽优化：xHC-Flash 通过融合流维度与批次维度的矩阵乘法减少中间状态传输，对推荐模型部署中的显存带宽瓶颈有借鉴意义，尤其适用于大规模特征交叉或 Embedding 交互层的显存优化。
- 高效扩展范式：在有限训练预算下通过架构改进提升大模型性能，对电商搜索/推荐场景中自行预训练 LLM 的团队，提供了一条除增加模型尺寸外的算力友好扩展路径。
面向内存高效自回归视频生成的实例特定参数吸收方法
🧭 自回归生成 · 参数化KV缓存压缩
Institute of Information Engineering, Chinese Academy of Sciences · The University of Hong Kong · AMAP, Alibaba Group
ISPA首次将KV缓存压缩从丢弃转变为实例级参数蒸馏，在视频生成中实现50%缓存缩减且质量无损
📌 工作参考价值（4 点）
- 在推荐系统的长序列Transformer或生成式推荐模型中，可借鉴ISPA将部分层转为局部注意力，并通过最小二乘将历史缓存吸收到权重中，节省推理内存。
- 预热阶段监测全注意力和局部注意力的输出差异来确定转换点，可用于Agent对话历史压缩，动态决定何时将旧上下文编码进模型参数。
- 闭式解的权重调制无需重新训练，适合在线推理时实时进行缓存压缩，可直接集成到现有KVCache管理的工程框架中。
- 对于电商场景的实时生成（如商品描述、直播推流），用ISPA减少视频/文本自回归生成的KV缓存，提升吞吐。
大规模多模态推荐的URecJPQ：联合乘积量化实现内存高效模型
🧭 多模态推荐模型压缩 · 联合乘积量化
University of Bari Aldo Moro · University of Glasgow · Spotify
用联合乘积量化将用户/物品ID与多模态特征压缩为共享子嵌入拼接，在参数量减少98%+的同时保持推荐精度
📌 工作参考价值（4 点）
- 在电商/广告等大规模多模态推荐场景，可直接采用 联合乘积量化（JPQ） 替换全量 ID 嵌入表：为每个 user/item 分配多组码本中的码字索引，拼接得到嵌入向量，将参数量压缩 98%–99%，大幅降低 GPU 显存占用和检查点大小。
- 多模态侧，可将预训练的模态特征（文本、图像等）也纳入量化框架，例如对模态编码器输出做分桶或学习离散码本，避免存储每个 item 的完整 dense 向量，特别适合物品库频繁更新的广告系统。
- 实验发现，在婴童产品等某些品类上，量化后模型 Recall 反而提升 85%，暗示嵌入压缩带来的正则化效应能缓解稀疏数据下的过拟合，可尝试在 cold-start 或长尾 item 上刻意使用更高压缩比。
- 工程落地几乎零成本：URecJPQ 仅修改嵌入查找层，不改变模型主干架构，可以直接嫁接到现有双塔、DIN 等模型上，快速上线测试。